Vào thời Lý, vua Lý Thần Tông (1128-1138) cho lập ở vị trí này một cung điện mang tên cung Từ Hoa để Từ Hoa công chúa cùng các cung nữ trồng dâu, nuôi tằm, dệt vải nằm bên trong khu vực có tên là Trại Tằm Tang. Khi công chúa qua đời, trên nền cũ của cung điện dựng lên một ngôi chùa.

Sang thời Trần, trại Tằm Tang đổi thành phường Tích Liên và chùa được mang tên Đống Long. Đến thời Lê chùa mang tên Đại Bi. Tấm bia trong chùa dựng thời vua Lê Nhân Tông ghi rõ: "năm Thái Hòa thứ nhất (tức năm 1443) dựng chùa, gọi là chùa Đại Bi".

Năm 1771 đời Lê Cảnh Hưng chùa được trùng tu, sửa chữa lớn và mang tên Kim Liên Tự (chùa Kim Liên).

Năm 1792, đời vua Quang Trung, chùa được xây dựng lớn, về diện mạo cơ bản giống như hiện nay.

Năm 1793 cũng đời vua Quang Trung chùa đã hoàn tất về diện mạo.